最近ollama这个大模型执行框架可以让大模型跑在CPU，或者CPU+GPU的混合模式下。让本人倍感兴趣。通过B站学习，这个ollama的确使用起来很方便。windows下可以直接安装并运行，效果挺好。

安装，直接从ollama官方网站，下载Windows安装包，安装即可。它默认会安装到C盘。本人的电脑，以前搞过cuda，所以cuda是和显卡配套安装好的。显卡是 GeForce GTX 970M 显存3G，扩展显存12G(这个用内存扩展出来的显存，cuda是不认的)。

访问下面链接地址

https://ollama.com/download

然后选择Windows的即可

下载安装完成后。我们先别忙着运行，因为ollama run的时候它自己会去https://ollama.com/library 下载已经处理好的模型。这些模型占空间都比较大。我们添加几个环境变量，让模型存储到我们希望的位置：

指定ollama的监听端口，监听在本机所有地址，方便其它前端服务跨主机访问。不设置这个环境变量，ollama只能在本机http://127.0.0.1：11434访问。

OLLAMA_HOST            0.0.0.0:11434

指定ollama模型的存放路径，如果不指定的话，都会给你放到c盘用户路径下哦！！

OLLAMA_MODELS     G:\ALL_VM_DISK\ollama_model

根据自己的需要配置一下环境变量。

之后最好新开一个命令行窗口 ，或者重启一下主机，这样环境变量才会生效。

ollama  run  gemma

就可以直接运行gemma大模型了。就这么简单。

但是在使用中遇到问题，就是多问几个问题之后，ollama就会报错退出，查看server.log

日志里会有报错信息，显存溢出：

out of memory 

遇到这种情况，可以分两种情况处理。

一种是大模型还是能正常的run起来，只是问问题的时候才OOM。那么在模型运行在对话状态的情况下，后台cuda oom异常，是过多的模型层被分配给了显存加速。这种情况下，要降低层数。可以在交互模式里，设置这个变量。这种是模型本身直接可运行起来的情况下：

/set parameter num_gpu 5

这个num_gpu 后面的数字，就是会缓存在gpu 显存中的模型layer数量，不同的模型layer大小是不一样的，所以要根据自己显存的情况去配置。比如我的显卡比较low了，只有3G显存，很第。所以通常这个数要搞小一些，模型才能多对话几次。

如果遇到直接run模型，就run不起来，怎么调整这个num_gpu，来让模型跑起来呢？需要借助modelfile对模型进行重新自定义。这个modelfile对用过dockerfile的人是比较友好的，有些类似。

比如我们gemma模型运行不起来，后台看是因为显存OOM，就用下面的办法，先看一下当前官方gemma模型的modelfile。

可以看到，gemma的modelfile里并没有强制指定num_gpu参数，所以ollama会根据机器当时的情况去计算合理的缓冲到GPU显存的层数。

我们修改这个modelfile，另存成一个新的modelfile，比如文件名就叫 gemma_local.modefile 内容增加对num_gpu的设置。注意增加了num_gpu的那行。

保存好。然后创建一个新的模型。这里其实有点儿像docker管理镜像的dockerfile。我们只改动了参数，所以一瞬间就可以创建完成，并且不怎么占硬盘空间。

然后ollama create创建我们自定义的gemma模型，指定gpu装载缓存的加速层数

模型就可以正常运行了，只是要慢一些。可以看看后台日志，加载模型GPU的层数降到了5层

经过反复试验，我的3G显存的GTX显卡，的确是对模型有一些加速作用的。但是吧，如果连续问一些问题，进行对话。即使把num_gpu的数量降到1或者3，也还是会OOM。实在没办法，干脆直接设置成0。就会用纯CPU方式来运行大模型，速度稍微慢一些，大概一分钟可以出120-140个字。

体验效果还是可以的。希望这篇文章能够帮助到遇到类似问题的人。